Dường như tên gọi "Khách Gia" mới chỉ xuất hiện trong vài thế kỉ gần đây. Thời vua Khang Hi, vùng ven biển phía Nam thường xuyên bất ổn vì sự quấy phá và gây hấn của những người thuộc phong trào "Phản Thanh phục Minh". Tới khi dẹp tan phong trào này, Khang Hi thi hành các chính sách khuyến khích người dân tại các vùng này tái định cư như cấp phát tiền bạc và một số hỗ trợ khác. Dân bản địa đương nhiên là bất bình với những làn sóng di dân dồn dập tới vùng đất của họ.Vùng ven biển Hoa Nam vốn không màu mỡ và rộng rãi như vùng đồng bằng Hoa Trung, nhưng điều đó không ngăn cản những cư dân bản địa chống đối mạnh mẽ và quyết liệt những nhóm dân mới tới. Những di dân này bị đẩy tới rìa của những vùng đất màu mỡ, thậm chí bị đẩy lên các vùng trung du và miền núi. Cái tên "Khách hộ" (客戶, kèhù) có thể được sử dụng như một lối gọi mang tính miệt thị, nhưng chủ yếu và rõ ràng hơn, nó mang tính chỉ định những di dân mới, kèm theo một "thông điệp" rõ ràng về quan hệ "người mới-người cũ", "chủ-khách".

Dần dà, với sự ổn định đời sống và chính trị trong suốt một thế kỉ từ đời Khang Hi cho tới đời Càn Long, quan niệm chống đối và phân biệt giữa những nhóm dân cư cũ-mới đã dịu đi nhiều. Bản thân những con cháu của những người di dân đã chấp nhận cái tên "Khách Gia" vốn được coi như một sự phân biệt để gọi mình.

Cho tới thời điểm đó, người Khách Gia vẫn còn giữ được những điểm rất độc đáo và đặc sắc trong lối sống và văn hóa của họ. Thí dụ, một người Khách Gia khi nhổ cỏ cho lúa vẫn không nhoài người xuống đất, dẫu cho như vậy sẽ khiến họ làm việc dễ dàng hơn, vì theo quan niệm của họ, đã là một người Khách Gia có tự trọng thì không được quỳ trên đất của người Mãn Thanh.